通过 Dreaming Learning 缓解生成模型模型崩溃
🧭 生成模型训练 · 模型崩溃缓解
Sapienza University of Rome · Sony CSL Rome, CREF · University of Copenhagen · Complexity Science Hub Vienna
用高温自采样样本作正则，阻止合成数据训练中的谱隙变窄与多样性塌缩
📌 工作参考价值（4 点）
- 在电商/广告场景用 LLM 批量合成 Query、商品标题或推荐理由时，若后续模型继续在这些合成数据上训练，容易出现多样性下降。可以借鉴 Dreaming Learning：训练时额外对一个高温度 Td>1 下模型自身采样结果加正则 loss，低成本抑制分布塌缩。
- 数据积累不一定能阻止模型崩溃，尤其采样温度 Ts<1 时。如果合成数据链路里为了可控性使用了低温度采样，要主动引入高温度样本或正则，而不是只增加数据量。
- 该工作用 transition operator 的次主导特征值和谱隙监控多样性，适合做离线监控指标：在训练生成式推荐/Query 模型时，可以周期性观察谱隙是否收窄，提前发现模型多样性退化。
- 方法实现简单，只增加一个 loss 项，不改变模型结构，容易嵌入现有 LLM/SLM 训练流程；对 124M GPT-2 级别模型也验证有效，中小规模业务模型可参考。
转移法则格：扩散与自回归解码调度的统一框架
🧭 生成模型统一解码调度与成本预测
University of Pennsylvania
将扩散、自回归及混合模型统一为 corruption lattice 上的路径，用依赖成本预测不同解码调度性能
📌 工作参考价值（4 点）
- 在生成式推荐或文本生成中，不必固定 AR 顺序或全并行扩散，可根据数据依赖图/树深设计中间解码调度，平衡推理延迟与生成质量。
- 利用预训练模型权重估计成对依赖成本，可低成本预测不同解码策略的排序，用于离线筛选最优推理策略，减少在线实验成本。
- 对于商品序列或图结构数据（如购物车序列、类目树），treedepth 给出最少零成本并行步数，可用于并行生成商品描述、推荐理由等任务时估计加速上限。
- 在支持混合解码的推理框架中，可先用依赖成本排序候选 schedule，再小规模验证，替代全量解码调参，提升工程效率。
模型感知调度通过纤维最优传输改进生成
🧭 扩散/流匹配训练调度优化
Arnold-Sommerfeld-Center for Theoretical Physics, Ludwig-Maximilians-Universität München · Institute of Informatics, Ludwig-Maximilians-Universität München · Munich Center for Machine Learning
提出基于纤维最优传输的模型感知调度，显著提升扩散/流匹配生成效率，并发现可复用的风险模板
📌 工作参考价值（4 点）
- 训练时间重分配思路可迁移到扩散式生成推荐：用早期 checkpoint 估计模型在不同噪声时间步的预测风险，将训练采样集中在高风险区域，提升 item 表示生成质量或加速推理采样。
- 归一化风险 profile 跨模型/设置的经验普适性表明，可以离线生成一个冻结的解析调度模板，在类似任务中直接复用，省去逐模型调参成本。
- 模型感知调度把计算资源向预测困难处倾斜，与推荐中困难样本挖掘/课程学习思想一致，可结合业务指标设计风险函数，例如对高交互稀疏 item 的时间步加权。
- 注意该工作面向图像生成，迁移到推荐需谨慎：需重新定义纤维上的 OT 成本（如 item embedding 距离），并适配召回/NDCG 等业务目标。
扩展流映射：支持可变维度与变长序列的生成模型
🧭 生成式流模型 · 可变维度生成
University of Pennsylvania
提出扩展流映射(EFM)，将生成模型从固定维度/长度解放，支持可变大小图和序列的少步生成
📌 工作参考价值（4 点）
- 电商推荐中常需生成可变长度的商品序列（如个性化feed流长度不固定），EFM的expand operator可直接建模输出长度本身，将序列长度作为可控自由度，避免预设最大长度带来的浪费或截断。
- 广告创意生成或搜索query推荐中，需要生成可变长度的文本，EFM在离散simplex上的扩展支持变长token序列生成，可端到端学习生成过程的长度分布，替代现有固定长度或启发式终止的方案。
- 通过蒸馏为少步生成，EFM可在在线推理中实现低延迟；对于推荐系统的实时生成场景，可将训练好的变长生成流蒸馏为仅需几层计算的网络，兼顾效果与效率。
- 图生成在推荐中可用于建模物品关系图或用户行为图，EFM的可变大小图生成能力可用来直接生成适应不同规模的结构化数据，省去预先定义图尺寸的麻烦。
决策感知的样本生成模型训练
🧭 决策感知生成模型训练
Tübingen AI Center, University of Tübingen · University of Augsburg
在能量得分中融入可微决策损失，使生成模型训练直接感知下游决策成本
📌 工作参考价值（4 点）
- 在供应链预测（销量/库存）中，可将缺货成本或过剩成本作为可微决策损失，与能量得分联合训练，提升关键分位数的预测精度，降低业务损失。
- 动态定价场景下，将利润损失函数嵌入生成式价格分布的优化目标，直接最小化预期决策成本，替代后处理决策优化。
- 工程实现时，需对非可微的业务损失进行平滑近似（如用SoftMax代替argmax），确保梯度可反向传播；可参考文中对决策损失可微化的设计。
- 该方法保持概率模型校准性，不仅输出点预测，还保留完整分布，适合风险敏感决策场景，如广告预算分配、促销门槛设定。
基于大型语言模型吉布斯采样的结构化推理
🧭 LLM 结构化概率推理
University of Edinburgh · CIFAR
用 LLM 的条件分布作 MCMC 转移算子迭代采样结构化变量，避免一次生成顺序偏差
📌 工作参考价值（4 点）
- 在推荐系统中需要生成结构化对象时（如用户属性填充、搭配生成、解释文本），可以用 LLM 的条件分布迭代修正初始生成，提升一致性，避免一次自回归导致的顺序偏差。
- 若业务中存在多个相互依赖的变量（如商品多字段补全、会话上下文中用户意图推断），可采用 Gibbs 采样式多次查询 LLM，利用各个局部条件相互校准，得到更符合全局分布的样本。
- 工程上，可将此方法封装为一种“反思-修正”循环，适用于需要高度一致性和概率连贯性的场景，如对话推荐中的实体消歧、属性约束满足。
- 注意该方法依赖于 LLM 提供可靠的条件分布，实际部署时需权衡计算开销与生成质量，可优先在离线数据增强或高价值交互中尝试。